확장형 실시간 데이터 파이프라인 시스템 아키텍처 설계

신호승; 강성원; 이지현; Hoseung Shin; Sungwon Kang; Jihyun Lee

연구문헌

국내 논문지

홈 > 연구문헌 > 국내 논문지 > 한국정보과학회 논문지 > 정보과학회논문지 (Journal of KIISE)

정보과학회논문지 (Journal of KIISE)

Current Result Document : 6 / 20 이전건 다음건

한글제목(Korean Title)	확장형 실시간 데이터 파이프라인 시스템 아키텍처 설계
영문제목(English Title)	Design of Extended Real-time Data Pipeline System Architecture
저자(Author)	신호승 강성원 이지현 Hoseung Shin Sungwon Kang Jihyun Lee
원문수록처(Citation)	VOL 42 NO. 08 PP. 1010 ~ 1021 (2015. 08)
한글내용 (Korean Abstract)	빅데이터 시스템은 대규모 로그 데이터를 수집하는 용도로 광범위하게 사용되고 있기 떄문에 높은 성능을 갖는 것이 매우 중요하다. 현재의 Hadoop 기반의 빅데이터 시스템은 중복 처리로 인하여 낮은 성능을 갖는 아키텍처적인 문제를 가지고 있다. 본 논문은 아키텍처 설계 개선을 통하여 Hadoop 기반 시스템의 낮은 성능 문제를 해결한다. 새로운 제안 아키텍처는 기존 아키텍처의 배치(Batch) 기반의 데이터 수집 방식을 개별처리 방식과 혼합한 수집 방법을 사용하고, 수집하는 테이터를 In-Memory 상에서 직접 분석하여 중복 처리를 배제하여 높은 성능을 제공하게 한다. 또한 제안 아키텍처는 기존 Hadoop기반 아키텍처보다 데이터의 분석 처리 속도가 30%~35% 빠르고 확장성도 가진다는 것도 확인하였다.
영문내용 (English Abstract)	Big data systems are widely used to collect large-scale log data, so it is very important for these systems to operate with a high level of performance. However, the current Hadoop-based big data system architecture has a problem in that its performance is low as a result of redundant processing. This paper solves this problem by improving the design of the Hadoop system architecture. The proposed architecture uses the batch-based data collection of the existing architecture in combination with a single processing method. A high level of performance can be achieved by analyzing the collected data directly in memory to avoid redundant processing. The proposed architecture guarantees system expandability, which is an advantage of using the Hadoop architecture. This paper confirms that the proposed architecture is approximately 30% to 35% faster in analyzing and processing data than existing architectures and that it is also extendable.
키워드(Keyword)	Hadoop Big data Real-time analysis Real-time data pipeline system 하둡 빅데이터 실시간 분석 실시간 데이터 파이프라인 시스템
파일첨부	PDF 다운로드